Ngà 8 tháng 11 năm 1273, Andronikos II kết hôn với người vợ đầu tiên là Anna của Hungary, con gái của Stephen V nước Hungary và Elizabeth xứ Cuman, họ có với nhau hai đứa con trai:

• Mikhael IX Palaiologos (17 tháng 4, 1277 – 12 tháng 10, 1320).
• Konstantinos Palaiologos, despotes (1278 – 1335). Lần đầu kết hôn với Eudokia, con gái của Theodore Mouzalon và một phụ nữ của gia tộc Kantakouzenos. Về sau kết hôn với Eudokia Neokaisareitissa. Ông còn có một tình nhân, tên Kathara đóng vai trò là người vợ thứ hai. Konstantinos bị người cháu là Andronikos III Palaiologos ép buộc phải trở thành một tu sĩ.
  • Eudokia Palaiologina. Đứa con gái hợp pháp duy nhất của Konstantinos và Eudokia Neokaisareitissa. Iohannes VI Kantakouzenos đã gả cô cho Demetrios Tzamplakon, megas stratopedarches.
  • Michael Katharos. Đứa con ngoài giá thú của Konstantinos và Kathara. Là đứa cháu nội rất được Andronikos II cưng chiều vào lúc cuối triều đại của ông.

Sau khi Anna mất vào năm 1281, tới năm 1284 Andronikos II còn tái hôn với Yolanda (đổi tên thành Irene), con gái của Hầu tước William VII xứ Montferrat, họ có với nhau mấy đứa con gồm:

• Iohannes Palaiologos (1286–1308), despotes, kết hôn với Irene Choumnaina, không con cái.
• Theodore, Hầu tước xứ Montferrat (1291–1338)
• Demetrios Palaiologos (mất sau 1343), despotes. Cha của Irene Palaiologina.
• Simonis Palaiologina (1294-1336), kết hôn với Vua Stefan Milutin của Serbia

Andronikos II còn có ít nhất hai cô con gái ngoài giá thú:

• Irene, kết hôn với Iohannes II Doukas, tiểu vương xứ Thessaly
• Maria, kết hôn với Toqta, Khan của Kim Trướng hãn quốc